VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control
VA-Bench：通过视觉演示、主动感知与度量控制评测具身空间智能
🧭 Embodied 空间智能评测基准
Dalian University of Technology · Nanyang Technological University
提出 VA-Bench 基准，评估通用 MLLM 在 RGB 演示、主动视角选择与度量命令下的完整观察-推理-执行闭环能力
📌 工作参考价值（4 点）
- 评测设计：构建 held-out 几何/布局变体与长程组合任务，可类比电商推荐中不同页面布局、用户意图与多步转化场景下的泛化评测，避免只测单一分布
- 主动感知闭环：模型主动选择相机视角而非被动接收多视图，对应交互式推荐中逐轮选择信息源，利用执行反馈修正策略，可提升长程任务成功率
- 高层决策与低层执行解耦：固定模型无关控制器只执行模型指定的度量式目标，业务上可将 LLM 意图输出与具体执行引擎分离，降低耦合并便于快速迭代
- 行为诊断体系：除最终成功率外，报告轨迹级行为诊断与子任务进度，推荐系统评估可借鉴，不只盯点击率，还要诊断用户路径、探索行为等中间指标